《Hadoop MapReduce实战手册》一2.6 设置HDFS块大小 |
您所在的位置：网站首页 › hdfs27版本默认block size的大小是 › 《Hadoop MapReduce实战手册》一2.6 设置HDFS块大小 |
|
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.6节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.6 设置HDFS块大小Hadoop MapReduce实战手册HDFS跨集群存储文件时，会把文件切分成粗粒度的、大小固定的块。默认的HDFS块大小为64 MB。数据产品的块大小会影响文件系统操作的性能，如果存储和处理非常大的文件，那么较大的块大小会更高效。数据产品的块大小会影响MapReduce计算的性能，因为Hadoop的默认行为是为输入文件中的每个数据块创建一个map任务。 操作步骤 要使用NameNode的配置文件来设置HDFS的块大小，需要在$HADOOP_HOME/conf/hdfs-site.xml中添加或修改以下参数。块的大小用字节数提供。这种修改不会改变那些已经存储在HDFS中的文件的块大小。只有在参数修改后新复制的文件才有新的块大小。 dfs.block.size 134217728 要为特定的文件路径指定HDFS块大小，你可以在命令行上载文件时，通过如下参数指定块大小： >bin/hadoopfs -Ddfs.blocksize=134217728 -put data.in /user/foo 更多参考 还可以使用HDFS Java API在创建文件时指定块大小。 publicFSDataOutputStream create(Path f,boolean overwrite, int bufferSize, short replication,long blockSize)可以使用fsck命令来查找特定文件路径的块大小和数据块在HDFS中的存储位置。也可以通过从HDFS的监控控制台浏览文件系统，找到这些信息。 >bin/hadoopfsck /user/foo/data.in -blocks -files -locations ... /user/foo/data.in 215227246 bytes, 2 block(s): ... 0. blk_6981535920477261584_1059len=134217728 repl=1 [hostname:50010] 1. blk_-8238102374790373371_1059 len=81009518 repl=1 [hostname:50010]... |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |